矩阵分解 (decomposition, factorization)是将矩阵拆解为数个矩阵的乘积或加和的过程，可分为三角分解、满秩分解、QR分解、Jordan分解、SVD（奇异值）分解和谱分解等，其中三角分解(LU分解)是高斯消元法的另一种表现形式，在本科的线性代数里已经被我们用烂了，Jordan分解在上一章线性代数引论“求Jordan标准形”里已经介绍。这一章只介绍QR分解、满秩分解、SVD（奇异值）分解和谱分解。

QR分解

描述
A=QR
A是满秩方阵，Q是正交矩阵，R是上三角阵，分解唯一
A=UR(把正交矩阵换成酉矩阵也一样)
如果A只是列满秩，($A_{m×n}, n≤m$, 秩为n)那么
$A_{m×n} = Q_{m×n}R_{n×n}$, Q只要满足n个列向量标准正交即可，R还是上三角阵
QR分解步骤

求r(A)判断A是否满秩
按列分块$A=(x_1, x_2, x_3)$，正交化为$y_1, y_2,y_3$, 单位化为$z_1, z_2, z_3$
令 $$Q=(z_1,z_2,z_3)$$ $$ R= \left( \begin{matrix} ||y_1|| & (x_2, z_1) & (x_3, z_1) \\ 0 & ||y_2|| & (x_3, z_2) \\ 0 & 0 & ||y_3|| \end{matrix} \right) $$
最后，A=QR

scipy代码演示

满秩分解

描述
任一矩阵可分解为一个列满秩与行满秩矩阵的乘积，但分解不唯一
$A_{m×n} = F_{m×r} G_{r×n}$ (A的秩为r)
满秩分解方法

经初等行变换化为简化阶梯型
取H中是单位向量的列的序号，找出A中对应序号的列组成F
取H中的非0行（前r行）作为G
最后，A=FG

奇异值分解

描述
- 奇异值：复矩阵$A_{m \times n}^r$(秩为r)，$A^HA$有n个特征值，按从大到小的顺序排列，保证$ \lambda_1 \geq \lambda_2 \geq ... \geq \lambda_n$，有前r个为正，后n-r个为0，称 $σ_i=\sqrt{λ_i}$为A的奇异值，前r个$\sigma_1 \geq \sigma_2 \geq ... \geq \sigma_r$为正奇异值。
- 奇异值分解：$A=USV^H$$A_{m×n}^r = U_{m×m} S_{m×n} V^H_{n×n}$ 其中，U和V为酉矩阵(见上一章)，S为A的奇异值组成的对角阵，前r个为正奇异值，后n-r个全为0 $$A=U\left( \begin{matrix} S_r & 0 \\ 0 & 0 \end{matrix} \right)V^H$$
奇异值分解步骤：

计算$A^HA$的n个特征值并按从大到小排序得到$λ_i(i=1...n)$, 取平方根得到奇异值$σ_i$
计算这n个特征值$λ_i$对应的特征向量$α_i$，并schmidt正交化，得到标准正交特征向量$α_1, α_2, … α_r, α_{r+1}, … , α_n$。令$V_1=(α_1, … α_r), V_2=(α_{r+1}, … , α_n), V=(V_1, V_2)$;令$S_r=diag(σ_1, … σ_r),(\sigma_1 \geq \sigma_2 \geq ... \geq \sigma_r)$
计算$U_1=(β_1, … β_r) =AV_1S_r^{-1}$
求出$N(A^H)$的一组标准正交基$β_{r+1}, … β_m$(即求$A^H$齐次方程组的一组基础解系，也需要schmidt正交化)。令$U_2=(β_{r+1}, … β_m), U=(U_1, U_2)$, 则

$$A=U\left( \begin{matrix} S_r & 0 \\ 0 & 0 \end{matrix} \right)V^H$$

scipy演示代码

谱分解

描述
N阶方阵$A_{n \times n}$的n个特征值称为A的谱（谱分解是对于单纯矩阵而言的）
谱分解步骤：

以A的线性无关的特征向量为列组成矩阵P，将P按列分块$P=(X_1, X_2, …, X_n)$
求$P^{-1}$, 将$P^{-1}$按行分块 $P^{-1}=(Y_1, Y_2, …, Y_n)^T$
则A的谱分解为$A = λ_1X_1Y_1 +λ_2X_2Y_2 + … + λ_kX_kY_k$ 或$A = λ_1G_1 +λ_2G_2 + … + λ_kG_k$ 其中，$G_i = X_iY_i$, 这里的$G_i$是幂等矩阵, 且有如下性质: $G_i$两两正交，所有$G_i$的和为$I_n$

特殊情况
若A是正规矩阵($A^HA=AA^H$)，则上述的$G_i$为幂等厄米特阵，A酉相似于对角阵，那么，将U按列分块
$U=( X_1, X_2, …, X_n)$, 取$G_i = X_iX_i^H$即可！

补充：幂等阵

描述
幂等阵：$A∈C_{n×n}$, 若满足$A^2=A$, 则称A为幂等阵。
A为幂等阵的等价命题

与A相似的任意矩阵也是幂等阵；
$A^H,A^T,A^*，I-A^H，I-A^T$都是幂等阵
$A^k$是幂等阵, $k \in N$

幂等阵的主要性质：

幂等阵的特征值只可能是0，1；
幂等阵可对角化；
幂等阵的迹等于幂等阵的秩，即tr(A)=rank(A)；
可逆的幂等阵为I；
零方阵和单位矩阵都是幂等阵；
幂等阵A满足：A(I-A)=(I-A)A=0；
幂等阵A有Ax=x的充要条件是x∈R(A)；
A的核空间N(A)等于I-A的像空间R(I-A), 且N(I-A)=R(A)。

幂等阵的运算：
设 $A_1,A_2$都是幂等阵

$A_1+A_2$ 为幂等阵的充分必要条件为：$A_1A_2 =A_2A_1 = 0$且有：
$R(A_1+A_2) =R (A_1) ⊕R (A_2)$；(⊕表示直积)
$N(A_1+A_2) =N (A_1)∩N(A_2)$；
$A_1-A_2$ 为幂等阵的充分必要条件为：$A_1A_2 =A_2A_1=A_2$且有：$R(A_1-A_2) =R(A_1)∩N (A_2 )$；
$N (A_1 - A_2 ) =N (A_1 )⊕R (A_2)$；
若$A_1A_2 =A_2A_1$，则$A_1A_2$ 为幂等阵，且有：
$R (A_1A_2 ) =R (A_1 ) ∩R (A_2 )$；
$N (A_1A_2 ) =N (A_1 ) +N (A_2 )$。